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(57) Abstract 

The invention relates to a system and a method for situation-related interaction support with the aid of augmented reality technologies 
In order to provide optimized support, especially during system structuring, comprising from commissioning up to maintenance of 
automation-controlled systems and processes, a work situation is automatically. detected, said work situation is analyzed and relevant 
informational data is automatically selected and displayed on the basis of statistical information pertaining the corresponding work situation 
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(57) Zusammenfassung 

Die Erfindung betrifft ein System und ein Verfahren zur situationsgerechten UnterstQtzung der Interaktion mit Hilfe von 
Augmented-Reality-Techriologien. Fur eine optimierte UnterstQtzung insbesondere beim Systemaufbau, bei der Inbetriebsetzung bis hin 
zur Wartung von automatisierungstechnisch gesteuerten Systemen und Prozessen wird vorgeschlagen, da6 eine konkrete Arbeitssituation 
automatisch erfaBt wird, dafl die Arbeitssituation analysiert wird und daS aus statischen Informationen automatisch jeweils fiir die analysierte 
Arbeitssituation relevante Informationsdaten ausgewahlt und angezeigt werden. 
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Beschreibung • 

System und Verfahren zur situationsgerechten Unterstiitzung 
der .Interaktion mit Hilfe von Augmented-Reality-Technologien 

Die Erfindung betrifft ein System und ein Verfahren zur Doku- 
mentationsverarbeitung insbesondere fiir technische und indu- 
strielle Anwendungen. 

Ein derartiges System und Verfahren kommt beispielsweise im 
Bereich der Automatisierungstechnik, bei Produktions- und 
Werkzeugmaschinen, bei Diagnose- /Serviceunterstutzungssyste- 
men sowie ftir komplexe Komponenten, Gerate und Systeme, wie 
beispielsweise Fahrzeuge und industrielle Maschinen und Anla- 
gen zum Einsatz . 

Der Erfindung liegt die Aufgabe zugrunde, ein System und, ein 
Verfahren anzugeben, das in konkreten Arbeitssituationen ei- 
nen schnellen und sicheren Zugriff auf relevante Dokumentati- 
onsdaten ermoglicht. 

Diese Aufgabe wird durch ein System zur Dokumentationsverar- - 
beitung zur situationsgerechten Unterstiitzung der Interaktion 
zwischen einem Anwender und einer technischen Vorrichtung, 
insbesondere ftir technische und industrielle Anwendungen ge- 
lost, mit Speichermitteln zur Speicherung von Dokumentations- 
daten und mit Erf assungsmitteln zur Erfassung von realen In- 
formationen, mit Zugrif f smitteln zum Zugriff auf die Dokumen- 
tationsdaten und mit Auswertemitteln zur Auswertung . der rea- 
len Information und zur Auswahl der gespeicherten Dokumenta- 
tionsdaten in Abhangigkeit der realen Inf ormationen. 

Diese Aufgabe wird durch ein Verfahren zur Dokumentationsver- 
arbeitung zur situationsgerechten Unterstiitzung der Interak- 
tion. zwischen einem Anwender und einer technischen Vorrich- 
tung, insbesondere fur technische und industrielle Anwendun- 
gen gelost, bei dem Dokumentationsdaten gespeichert werden ' 
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und reale Inf ormationen mit Erf assungsmitteln erfafit werden, 
bei dem auf die Dokumentationsdaten in der Weise zugegriffen 
wird, daS die : realen Information ausgewertet werden und in 
Abhangigkeit der realen Inf ormationen die gespeicherten Doku- 
5 mentationsdaten ausgewahlt werden. 

Bei den Dokumentationsdaten kann es sich beispielsweise um 
bei der Errichtung einer Anlage, eines automatisierungstech- 
nisch gesteuerten Systems oder Prozesses erstellte und gesam- 

10 melte Daten und/oder auch. im Betrieb einer Anlage oder eines 
Automatisierungssystems nach vorgebbaren Kriterien gepf legte 
und jeweils aktualisierte Dokumentationsdaten handeln. Diese 
Dokumentationsdaten konnen auf Speichermittel gespeichert 
sein, die sowohl lokal, d.h. am Ort der jeweiligen Anwendung 

IS oder auch an jedem beliebig anderen Ort, beispielsweise am 

Ort der jeweiligen Herstellerf irmen der einzelnen Anlagenkom- 
ponehten, gespeichert werden. Mit Hilfe der Erf assungsmittel 
werden beispielsweise aus einem Bildinhalt die realen Infor- 
mationen erfa£t und iiber die Auswertemittel ausgewertet , so 

20 daS eine Zuordnung der realen Objekte zu in den Dokumentati- 
onsdaten gespeicherten pbjektdaten moglich wird. Anhand der 
realen Inf ormationsdaten, beispielsweise in Form eines detek- 
tierten Objekts werden dann insbesondere automatisch die zu- 
satzlichen in dem Dokumentationsdaten enthaltenen Objektdaten 

25 ausgewahlt und beispielsweise fur Servicezwecke vor Ort zur 
Verfugung gestellt. Hierdurch wird ein, si tuationsgerechter 
schneller Zugang zu den jeweils benotigten Daten ermoglicht. 

Vorteilhafte Ausgestaltungen bestehen darin, daft die Dokumen- 
30 tationsdaten statische und/oder dynamische Inf ormationsdaten 
sind. Beispiele fur derartige statische Inf ormationen sind 
technische Daten aus Haridbuchern , Explosionszeichnungen, War- 
tungsanweisungen etc. . Beispiele fur dynamische Inf ormationen 
sind ProzeSwerte wie Temperatur, Druck, Signale etc. 

3.5 

Ein schneller situationsgerechter Zugang zu den Dokumentati- 
onsdaten wird .dadurch weiter unterstiitzt-, dag die Erfassungs- 
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mittel eine Bildaufnahmevorrichtung aufweisen, date die Aus- 
wertemittel zur Auswertung der realen Information in der Wei- 
se vorgesehen sind, daS aus der realen Information. ein 
Eisatzkontext , insbesondere ein Objekt der pokumentationsda- 
5 ten ermittelt wird und da£ das System Visualisierungsmittel 
zur Visual isierung der Dokumentationsdaten aufweist. 



Ein schneller situationsgerechter Zugang zu den Dokumentati- 
onsdaten wird dadurch weiter unterstiitzt, da£ die Erfassungs- 
10 mittel anwendergesteuert sind und insbesondere als sprachge- 
steuerte Erf assungsmittel und/oder durch Steuerdaten gesteu- 
erte Erf assungsmittel ausgebildet sind. 

Ein fur viele Anwendungsf alle optimaler Einsatz von Augmen- 
15 ted-Reality-Techniken auf Basis der statischen und/oder dyna- 
mischen Dokumentations- und/oder ProzeSdaten kann in der Wei- 
se erfolgen, daS die Erf assungsmittel und/oder die Visuali- 
sierungsmittel als Datenbrille ausgebildet sind. 

20 Tm folgenden wird die Erfindung anhand der in den Figuren 

dargestellten Ausfiihrungsbeispiele naher beschrieben und er- 
lautert . 

Es zeigen: 

ein Blockschaltbild eines Ausfiihrungsbeispiels el- 
nes Systems zur Dokumentationsverarbeitung, 

ein Blockschaltbild eines Ausfiihrungsbeispiels ei- 
nes Systems zur Dokumentationsverarbeitung, 

ein weiteres Blockschaltbild eines Ausfiihrungsbei- 
spiels eines Systems zur Dokumentationsverarbeitung 
lind 



.30 



FIG 1 



FIG 2 



FIG 3 



35 - 



FIG 4 



ein Anwendungsbeispiel fur einen situationsgerech- 
ten Zugriff auf Dokumentationsdaten. 
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Figur 1 zeigt eine Prinzipdarstellung eines Systems zur Doku- 
mehtationsverarbeitung unter Zuhilf enahme von Augmented- . 
Reality-Techniken. Das System besteht aus Auswertemitteln A, 
an die Erfassungsmittel 2 sowie Visualisierungsmittel B ange- 
5 schlossen . sind. Uber eine Datenverbindung D sind die Auswer- 
temittel A mit Speichermitteln 1 koppe.lbar . Die Speichermit- 
tel 1 enthalten Inf ormationen II.. In als Dokumentationsdaten. 
Die Erfassungsmittel 2 dienen der Erfassung realer Informa- 
tionen R eines Prozesses 3, beispielsweise eines Automatisie- 
10 rungssystems bzw. eines automatisierungstechnisch gesteuerten 
Systems oder Prozesses. 

II " " ' ' ' • 

H Figur 1 bildet die Grundstruktur eines Systems zur situati- 
|| onsgerechten Dokumentationsverarbeitung fiir technische und 
15 ;| dndustrielle Anwendungen. Mit Hilfe der Erfassungsmittel 2, 
. beispielsweise einer Videokamera werden reale Inf ormationen 
i der technischen und industriellen Anwendung 3 erfaSt und mit 
: Hilfe der Auswertemittel A, beispielsweise der digitalen 

Bildverarbeitungsmitteln analysiert und ausgewertet . Die Aus- 
20 wertung der realen Inf ormationen R mit Hilfe der Auswertemit- 
tel A erfolgt beispielsweise dahingehend, einzelne Objekte, 
/ d.h. einzelne Komponenten eines Automatisierungssystems .oder 
j einer industriellen Anwendung zu detektieren. Diese Detektion 

■ . kann beispielsweise in Form von an den realen Objekten ange- 
^5 brachten Zusatzinf ormationen, beispielsweise in Form Bare- 
/ Code-Aufklebern erfolgen oder durch Vergleich der Bildinf or- 
! mationen mit in den Auswertemitteln A und/oder den Dokumenta- 
\: tionsdaten 1 gespeicherten Vergleichsdaten . Nach Ermittlung ' 
\ eines gewUnschten Objekts, welches mit der realen information 
;1 30 R korrespondiert, werden entweder automatisch und/oder inter- 
\- aktiv vom Anwender gesteuert die Dokumentationsdaten II.. In.: 
\ einem Anwender mit Hilfe der Visualisierungsmittel B ange- 
j zeigt. Diese Dokumentationsdaten II.. In bilden eine Zusatzin- 
/ formation fur eine situationsgerechte Unterstutzung. bei der 
3 5 Reparatur, bei der Wartung, etc . . Abhangig von der realen In- 
formation werden jeweils die benotigten Dokumentationsdaten 
. situationsgerecht prasentiert. Die Dokumentationsdaten II.. In 
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konnen dabei entweder vor Ort, beispielsweise auf einer Da- 
tenverarbeitungsvorrichtung oder auch an entfernten Orten ge- 
speichert sein, wobei in diesem Fall ein Zugriff beispiels- 
weise iiber eine Internet- Anbindung erfolgt. 

Figur 2 zeigt eine Prinzipdarstellung eines Systems zur.Doku- 
mentationsverarbeitung ftir eine situationsgerechte Unterstiit- 
zung der Interaktion zwischen einem Anwender und Automatisie- 
rungseinrichtungen Al..An. Der Anwender, der in Figur 2 nicht 
explizit dargestellt ist, ist mit mobilen Geraten 4, 6 ausge- 
stattet. Die mobilen Gerate 4, 6 beinhalten eine Datenbrille 
4, an der ein Videokamera 2 sowie ein Mikrofon 11 angeordne.t 
ist. Die Datenbrille ist mit einer Einrichtung zur drahtlosen 
Kommunikation'; beispielsweise einer Funk-Sende- 
Empfangsvorrichtung 6 gekoppelt, die iiber eine Funkschnitt- 
stelle 15 mit dem Automatisierungssystem Al..An kommunizieren 
kann. Das Automatisierungssystem Al..An ist iiber eine Daten- 
verbindung 14 mit einem Augmented-Reality-System 10 koppel- 
bar, welches im folgenden auch abkiirzend als AR-System be- 
zeichnet wird. Das AR-System enthalt ein Inf ormationsmodul lb 
zur Speicherung bzw. zum Zugriff von bzw. auf Inf ormationsda- 
ten, ein AR-Basismodul 8 sowie ein AR-Anwendungsmodul 9. Das 
AR-System 10 ist iiber eine Datenverbindung 13 mit dem Inter- 
net 5 verbindbar, wobei uber.eine beispielhaft dargestellte 
Internetverbindung 12 ein Zugriff auf wei.tere Speicher- und 
Dokumentationsdaten lamoglich ist. 

Der Anwender, der mit der Datenbrille 4 und der mobilen Funk- 
Sende-Einrichtung 7 ausgestattet ist, ist in der Lage, sich 
fur Wartungs- und Servicezwecke in der Anlage Al..An frei zu 
bewegen. 1st beispielsweise die Wartung oder Reparatur einer 
bestimmten Teilkomponente der Anlage Al..An erf orderlich, so 
wird mit Hilfe der Kamera 2 der Datenbrille 4 gegebenenfalls 
gesteuert durch Sprachkornmandos , die vom Mikrofon 11 erfaEt 
werderi, ein entsprechender Zugang zu den relevanten Dokumen- 
tationsdaten lk, lb hergestellt. Hierzu wird iiber die Funk- 
schnittstelle 15 eine Datenverbindung zur Anlage Al . . An oder 
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einem entsprechenden Funk-Sende-Modul aufgebaut und die Daten 
an das AR-$ys.tem 10 iibermittelt . Im AR-System erfolgt eine 
situationsgerechte Aiiswertung der vom Anwender erhaltenen Da- 
ten und ein automat ischer oder auch ein interaktiv vom Anwen- 
5 der gesteuerter. Zugriff auf Inf or amt ions daten la, lb. Die er- 
mittelten relevanten Dokumentationsdaten la, lb, werden iiber 
die Datenverbindungen 14, 15 an die Funk-Sende-Einrichtung 6 
ubermittelt und insgesamt erfolgt auf Basis der erfafiten Ar- 
beitssituation somit eine Analyse, die Grundlage fur die Aus- 

10 wahl von Daten aus der vorliegenden statischen Information 
ist. Hierdurch ergibt sich eine situationsgerechte, objekt- 
orientierte bzw. bauteilorientierte Auswahl relevanten Wis- 
sens aus den aktuellsten Datenquellen la, lb. Die Anzeige der 
Information erfolgt mit Hilfe der jeweils verwendeten Visua- 

15 lisierungskomponente, beispielsweise . einem Handheld-PC oder 
einer Datenbrille. Von AR-basierten Technologien gesprochen 
wird. Der Anwender vor Ort wird somit lediglich mit der In- 
formation versorgt, die er braucht. Diese- Information befin- 
det sich jeweils auf dem aktuellsten Stand. Der Servicetech- 

2 0 niker wird beispielsweise nicht durch ein "100 Sei ten-Manual " 

mit. Inf ormationen iiberf rachtet . 

Figur 3 zeigt ein weiteres Anwendungsbei spiel eines Systems 
zur Dokumentationsverarbeitung fiir Service und Wartung. Das 
25 System besteht aus einem . Augmented-Reali ty-System 10, welches 
ein Inf ormationsmodul lb zur Speicherung von Inf ormationsda- 
ten, ein AR-Basissystem 8 sowie ein AR-Anwendungsmodul 9 ent- 
halt. Das AR~System 10 ist liber Bindungsleitungen 13, 18 ans 
Internet 5 ankoppelbar. Von dort besteht iiber eihe beispiel- 

3 0 hafte Datenverbindung 12 eine Verbindungsmoglichkeit zu einem 

entfernten PC 16 mit einem entfemten Experten 22. Die Kopp- 
lung zwischen den einzelnen Modulen des AR-Systems 10 erfolgt 
iiber Verbindungen 19, 20, 21. Die Anwenderkommunikation zwi- 
schen einem Anwender 7 und dem AR-System erfolgt liber 
35 Schnittstellen 8, 23. Hierzu ist das AR-System mit einer Sen- 
de-Empfangs-Vorrichtung koppelbar, die eine bidirektionale 
Datenkommunikation zwischen dem AR-System 10 und dem Anwender 
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7 iiber eine Datenbrille 4 entweder direkt uber die Schnitt- 
stelle 8 Oder uber ein im Bereich des Anwenders 7 angeordnete 
Funk-Sende-Empfangseinrichtung 17 uber eine Schnittstelle 23 
ermoglicht. Die Verbindung 23 kann.uber eine separate Daten- . 
verbiridung . oder iiber das Stromnetz als "Power-Line" -Modem 
realisiert werden. Die Datenbrille 4 enthalt neben einer im 
Bereich der Brillenglaser angeordneten Anzeigevorrichtung ei- 
ne Bilderfassungsvorrichtung 2 in Form einer Kamera sowie ein 
Mikrofon 11. Der Anwender 7 kann sich mit Hilfe der Daten- 
brille 4 im Bereich der Anlagen Al . .An-bewegen und Service- 
oder Wartungsarbeiten durchflihren. 

Mit Hilfe der Datenbrille 4 und der entsprechenden Funk- 
Sende-Empf angsvorrichtungen, beispielsweise der Funk-Sende- 
Empf angsvorrichtung 17, die vom Personal direkt am Korper ge- 
tragen wird, istes moglich vorbeugende Funktionalitat zu er- 
reichen: Zunachst erfolgt die Erfassung der jeweiligen Ar- 
beitssituation, beispielsweise durch die Kamera 2 oder durch 
Lokalisierung durch das Personal 7. -Auf Basis der erfaSten 
Arbeitsssituation erfolgt im AR-System eine Auswahl von Daten 
gewarteten Anlage Al..An. Der grundlegende Vorteil des in Fi- 
gur 3 dargestellten Systems besteht .darin, da£ dieses System, 
das Zusammenwirken der einzelnen Einzelf unktionalitaten an- 
wendungsgerecht unterstutzt: So wird zunachst eine konkrete 
Arbeitssituation automatisch erfafit, diese Arbeitssi tuation 
anschlie£end analysiert/ wobei. aus der aktuellsten, vorlie- 
genden statischen Information in Kombination mit den augen- 
blicklich erfaSten dynamischen Daten automatisch die gerade 
relevanten Aspekte ermittelt werden. Hierdurch werden bei- 
spielsweise Montagehinweise mit aktuellen Prozeftdaten korre- 
liert. Das Personal 7 erhalt hierdurch eine si tuationsgerech- 
te Anzeige der relevanten Inf ormationen beispielsweise durch 
eine iiberlagerte Visual isierung der entsprechenden Daten in 
der Weise, dag im Sichtfeld des Personals die reale Arbeits- 
situation urn die ermittelten Inf ormationen erweitert wird. 
Hierdurch wird das Personal 7 in kurzester Zeit handlungsf a- 
hig gemacht und damit notwendige Maschinenlauf zeiten gesi- . 
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chert. Unterstiitzung kann der Wartungstechniker 7 voir Ort 
auch liber den entfernten Experten 22 und das am Ort des ent- 
fernten Experten 22 vorliegende Wissen 16 erhalten. 

5 Figur 4 zeigt ein Anwendungsbeispiel fur einen situationsge- 
rechten Zugriff auf Dokumentationsdaten. Figur 4. zeigt einen 
ersten Bildschirmbereich Bl, in dem eine Anlagenkomponerite 
dargestellt ist. Im rechten Bildschirmbereich B2 ist ein An- 
wender 7 dargestellt, der beispielsweise eine einzelne Anla- 

10 genkomponente betrachtet . Der Anwender 7 ist mit einer Daten- 
brill e 4 augerlistet, die eine Kamera 2 als Erf assungsmittel 
enthalt. An der Datenbrille 4 ist dariiber hinaus ein Mikrofon 
11 sowie ein Lautsprecher 16 angeordnet . Ini linken Bild- 
schirmberelcht Bl ist ein Blick auf Rohrleitungen darge- 

15 stellt, die mit der im Bildfenster B2 dargestellten Daten- 
brille betrachtet werden konnen. Im linken Bildschirmbereich 
Bl sind zwei Punkte Bl, B2 markiert, die jeweils zwei mit 
Hilfe der Datenbrille 4 betrachtete Bildausschnitte reprasen- 
tieren. Nach Betrachtung des ersten Punkts PI, .d.'h. nach Be- 

2 0 trachtung der im. Bereich des Punktes PI angeordneten. Rohrlei- 
tung werden dem Anwender 7 Zusatzinf ormationen in der Daten- 
brille 4 visualisiert. Diese Zusatzinf ormationen 11 bestehen 
aus Dokumentationsdaten, die bezuglich des ersten Punktes PI 
Arbeitsanweisungen fur dieses Rohrstuck enthalten. und beziig- 

25 lich l des Punktes P2 die in einem zweiten Schritt durchzufuh- 
rende Installationsanweisung beinhalten. Die Installationsan- 
weisung besteht in diesem Fall darin, da£ dem Anwender 7 das 
- Drehmoment und die Drehrichtung der Schraubverbindung des 

Punktes P2 xiber die Visualisierung der Zusatzdaten 112 mitge- 

30 teilt werden. Der Anwender 7 erhalt somit innerhalb kurzester 
Zeit eine situationsgerechte Anweisung fur das betrachtete 
Objekt. Bei der Verwendung eines intelligenten Werkzeugs, 
welches in der Lage ist, das gerade eingesetzte Drehmoment zu 
erfassen, ist.es weiterhin moglich, dafi der Anwender basie- 

35 rend auf dem aktue 11 en' Drehmoment auch dazu aufgefordert 

wird, daiS Drehmoment entsprechend zu erhohen oder zu yerrin- 
gern. 
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Im folgenden werden Hintergrundinf ormationen zu Einsatzgebiet 
der Erfindung gegeben: Es geht dabei urn eine anwendungsorien- 
tierte Anf orderungsanalyse und Entwicklung yon AR-basierten 
Systemen zur Unterstiitzung von Arbeitsprozessen in Entwick- 
lung, Produktion und Service komplexer technischer Produkte 
und Anlagen in der Fertigungs- und Verf ahrenstechnik, sowie 
fur Systeme zur Serviceunterstutzung wie bei Kraft fahrzeugen 
oder fur die Wartung beliebiger technischer Gerate. 

Augmented Reality, kurz AR, ist eine neue Art der Mensch- 
. Technik-Interaktion. mit groSeiri Potential zur Unterstiitzung 
von industriellen Arbeitsprozessen. Bei dieser Techno.logie 
wird das Sichtfeld des Betrachters mit rechnergenerierten 
virtuellen Objekten angereichert , so : dag Produkt- bzw. Pro- 
zeSinf ormationen intuitiv genutzt werden konnen. Neben der 
sehr einfachen Interaktion erschlieSt der Einsatz tragbarer 
Computer AR-Anwendungsf elder mit hohen Mobilitatsanf orde- 
rungen, wenn beispielsweise Prozefi-, Me£- oder Simulationsda- 
ten an das reale Objekt geknupft werden. 

Die Situation der deutschen Industrie ist durch steigende 
Kundenanforderungen an Individuality und Qualitat der Pro- 
dukte sowie durch eine wesentliche Zeitverkurzung der Entste- 
hungsprozesse gekennzeichnet . Insbesondere in Entwicklung/ 
Produktion und Service komplexer technischer Produkte und An- 
lagen konnen mit innovativen Losungen fur die Mensch-Technik- 
Interaktion sowohl Effizienz- und Produktivitatssprunge er~ 
zielt werden, als auch die Arbeit kompetenz- und lernforderl- 
ich gestaltet werden, indem der Wisseris- und Inf ormationsbe- 
darf der Benutzer auf der Basis ohnehin vorliegender Daten 
situationsgerecht unterstutzt wird. 

Augmented Reality ist eine Technologie mit einer Vielzahl in- 
novativer Anwendungsf elder : 

• So kann z.B. in der Entwicklung ein „Mixed Mock-Up" -Ansatz 
auf der Grundlage einer gemischt-virtuellen Umgebung die. 
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friihen Entwicklungsphasen deutlich beschleunigen. Gegenii- 
ber immersiven, d.h. eintauchenden, „ Virtual Reality" - 
(VR) -Losungen besteht fur den Benutzer ein wesentlicher 
Vorteil darin, dag die haptischen Eigenschaf ten mit Hilfe 
eines realen Modells naturgetreu abgebildet werden konnen, 
hingegen Aspekte der visuellen Wahrnehmung , z.B. fur An- 
zeigenvarianten, virtuell manipulierbar sind. Daruber hin- 
. aus besteht ein grofies Potential zur benutzerorientierten 
Validieruhg rechnergestiitzter Modelle, z.B. fur die Bau- 
teilverif ikation oder bei Crash-Tests. 

In der f lexiblen ProduKtion kann unter anderem das Ein- 
richten von Maschinen fur qualif izierte Facharbeiter we- 
sentlich erleichtert werden, indem, z.B, durch mobile AR- 
Komponenten, gemischt-virtuelle Spannsituationen direkt im 
Sichtfeld wiedergegeben werden. Eine f acharbeitergerechte 
Fertigungsplanung und Fertigungssteuerung in der Werkstatt 
wird erleichtert, wenn Inf ormationen uber den jeweiligen 
Auf tragsstatus direkt in Verbindung mit den dazugehorigen 
Produkten vor Ort wahrgenommen werden. Das gleiche gilt 
auch fur die Montage, wobei dem Monteur bereits in der 
Trainingsphase die einzelnen Arbeitsschritte gemischt-vir- 
tuell prasentierbar sind. In diesem Zusammenhang konnen, 
z.B. durch den Vergleich realer Montageablauf e mit Simula- 
tionsergebnissen, .umfassende Optimierungen erreicht wer- 
den, die sowohl die Qualitat der Arbeitsplanung verbessern 
als auch. den MontageprozeS in der kritischen Anlauf phase, 
vereinfachen und beschleunigen. 

Letztlich genugen im Service herkommliche Technologien 
kaum mehr, urn die komplexen Diagnose- und Behebungsproze- 
duren zu unterstiitzen und zu dokumentieren. Da diese Pro- 
zesse in vielen Bereichen aber ohnehin auf Basis von digi- 
talen Daten geplant werden, bieten AR-Technologien die. 
Moglichkeit , die Inf ormationsquellen fiir die Wartung zu 
ubernehmen und einem Techniker, z.B. in der Datenbrille , 
durch. die Uberlagerung mit realen Objekten den Ausbauvor- 
gang zu erlautern. Mit Bezug auf kooperative Arbeit ermog- 
licht das AR-gestutzte „Fernauge," eine verteilte Problem- 
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15sung, indem ein entfernter Experte mit dem Mitarbeiter 
vor Ort iiber globale Distanzen hinweg kommuniziert . Dieser 
Fall ist besonders fur die iiberwiegend mittelstandischen 
Werkzeugmaschinenhersteller relevant. Sie sind durch die 
Globalisierung gezwungen, Produktionsstatten ihrer Kunden 
weltweit zu errichten. Jedoch ist eine Prasenz von Nieder- 
lassungen in alien wichtigen Markten weder aus wirtschaft- 
lichen Grunden realisierbar ; noch kann auf das profunde 
Wissen erf ahrener Service-Mitarbeiter des Stammhauses 
bzgl. der zunehmend kamplexer werdehden Anlagen verzichtet 
werden. 

Die Besonderheit in der Mensch-Technik-Interaktion bei Aug- 
mented Reality liegt in einer sehr einfachen und intuit iven 
Kommunikation mit dem Computer, beispielsweise erganzt durch 
multimodale Interaktionstechniken wie Spraehverarbeitung oder 
Gestikerkennung. Die Verwendung von tragbaren Com- 
putereinheiten ermoglicht daruber hinaus vollig neue mobile 
Nutzungsszenarien, wobei die spezifischen Daten jederzeit 
iiber ein drahtloses Netz angefordert werden konnen. Neue Vi- 
sualisierungstechniken erlauben eine direkte Annotation, z.B. 
von MeS- oder Simulationsdaten, . an das reale Objekt oder in 
die reale Umgebung. In Verbindung mit verteilten Anwendungen 
sind mehrere Benutzer in der Lage, in einer realen Umgebung 
mit Hilfe einer gemeinsamen Datenbasis zu arbeiten (shared 
augmented environments) oder in verschiedenen Umgebungen AR- 
gestiitzt zu kooperieren. 

Augmented Reality wird erst seit wenigen Jahren intensiv er- 
forscht. Deshalb finden sich sowohl auf nationaler als auch 
interna tionaler Ebene nur wen ige Anwendungen, zumeist ■ in Form 
von wissenschaftlichen Prototypen bei Forschungseinrich- 
tungen. 

«> USA: Wie bei vielen neuen Technologien wurden die 
Nutzungspotentiale von Augmented Reality zuerst in 
Nordamerika erschlossen. Beispiele sind die Cockpit- 
gestaltung oder die Wartung von mechatronischen. Gera- 
ten. Der Flugzeughersteller Boeing hat bereits erste • 
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Feldversuche im Bereich der. Montage mit AR-Technqlo- 
gien unternommen. Ergebnis ist, dafi den USA auch in 
diesem Hightech-Bereich eine Schliisselstellung zu- 
kommt, die mit einer moglichen Technologiefiihrer- 
5 schaft einhergeht. 

• Japan: In Japan werden verschiedene AR-Entwicklungen 
vorangetrieben, z.B. zur gemischt-virtuellen Gebaude- 
planung, Teleprasenz oder „ Cyber- Shopping" . Keimzelle 
ist das 1997 gegrundete Mixed Reality Systems Labora- 
10 tory, das als Kompetenzzentrum gemeinsam von Wirt- 

schaft und Wissenschaft getragen wird. Besondere Im- 
pulse im Konsumgiiterbereich sind zukiinftig durch die 
japanische Industrie fiir Unterhaltungselektronik zu 
erwarten. 

15 • Europa: In Europa sind bislang nur sehr wenige For- 

schergruppen im AR-Bereich tatig. Eine Gruppe an der 
Universitat Wien befaEt sich mit Ansatzen fiir die ge- 
mischt-reale Visualisierung. Die Gruppe des IGD hat 
im Rahmen des inzwischen ausgelauf enen ACTS-Proj ektes 

20 CICC erste Anwendungen fur die Bauindus trie und einen 

wissenschaf tlichen Prototypen zur Mitarbeiterschulung 
im Automobilbau entwickelt. 

Die im Erfindung versteht sich insbesondere im speziellen 
Kontext der Anwendungsf elder " Produktions- und Werkzeugma- 
25 schinen" (NC-gesteuerte , automatisierungstechnische Prozesse) 
sowie "Diagnose-/Serviceunterstutzungssysteme fiir komplexe.' 
technische Komponenten/Gerate/Systeme" (z.B. Fahrzeuge, aber 
auch industrielle Maschinen und Anlagen).. 

30 Zusammenf assend betrifft die Erfindung somit ein System und 
ein Verfahren zur situationsgerechten Unterstiitzung der In- 
ter.aktion mit Hilfe von Augmented-Reality-Technologien . Fiir 
eine optimierte Unterstiitzung insbesondere beim Systemaufbau ; 
bei der Inbetriebsetzung bis hin zur Wartung von automatisie- 

35 rungs technisch gesteuerten . Systemen und Prozessen wird vorge- 
schlagen, da£ eine kbnkrete Arbeitssituation automatisch er- 
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fafit wird, dag die Arbeitssituation analysiert wird und dafi 
aus statischen Inf ormatiorien automatisch jeweils fur die ana 
lysierte Arbeitssituation releyante Inf ormationsdaten ausge- 
wahlt und angezeigt werden. 
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Pat en t an spr u che 

^1. System zur Dokumentationsverarbeitung zur situationsge- 
rechten Unterstiitzung der Interaktion zwischen einem Anwender 
(7) und einer technis.chen Vorrichtung (Al..An), insbesondere 
fur technische und industrielle Anwendungen, mit Speichermit- 
teln (1) zur Speicherung von Dokumentationsdaten (II.. In) und 
mit Erfassungsmitteln (2) zur Erfassung von realen Informa- 
tionen (R) , mit Zugrif f smitteln (D) zum Zugrif f auf die Doku- 
10 mentationsdaten (II.. In) und mit Auswertemitteln (A) zur Aus- 
wertung der realen Information (R) und zur Auswahl der ge- 
speicherten Dokumentationsdaten (II.. In) in Abhangigkeit der 
realen Inf ormationen (R) . 

15 2. System nach Anspruch 1, 

dadurch gekennzeichnet, 

da£ die Dokumentationsdaten (II.. In) statische und/oder dyna- 
mische Inf ormationsdaten sind. 

20 3. System nach einem der Anspruche 1 oder 2, 
dadurch gekennzeichnet, 

daS die Erf assungsmittel (2) eine Sensorik, insbesondere eine 
Bildaufnahmevorrichtung aufweisen, da£ die Auswertemittel (A) 
zur Auswertung der realen Information (R) in der Weise vorge- 
25 s.ehen sind,. daS aus der realen Information ein Einsatzkon- 
text, insbesondere ein Objekt der Dokumentationsdaten 
(II.. In) ermittelt wird und daS das System Visualisierungs- 
mittel (B) zur Visualisierung der Dokumentationsdaten auf- 
weist. 

30 

4. System nach einem der Anspruche 1 bis 3, 
dadurch gekennzeichnet, 

date die Erf assungsmittel (2 ) anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erf assungsmittel und/oder 
35 durch Steuerdaten gesteuerte Erf assungsmittel ausgebildet 
sind. 
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5. System nach einem der Anspruche 1 bis 4, 
dadurch gekennzeichnet, 
dafi die Erfassungsmittel (2) und/oder die Visualisierungsmit- 
tel als Datenbrille (4) ausgebildet sind. 

6. Verfahren zur Dokumentationsverarbeitung zur situationsge- 
rechten Unterstutzung der Interaktion zwischen einem Anwender 
(7) und einer technischen Vorrichtung (Al..An), insbesondere 
fur techriische und industrielle Anwendungen, bei dem Dokumen- 
tationsdaten (II.. In) gespeichert werden und reale Inf orma- 
tionen (R) mit Erf assungsmitteln (2) erfaSt werden, bei dem . 

. auf die Dokumen tationsdaten (II.. In) in der Weise zugegriffen 
wird, daS die realen Information (R) ausgewertet werden und 
in Abhangigkeit der realen Inf ormationen (R) die gespeicher- 
ten Dokumentationsdaten (.11.. In) ausgewahlt werden . * • 

7. Verfahren nach Anspruch 6, 
dadurch gekennzeichnet, 

daS die Dokumentationsdaten (II.. In) statische und/oder dyna- 
mische Inf ormationsdaten sind. 

8. Verfahren nach einem der Anspruche 6 oder 7, 
dadurch gekennzeichnet, 

da£ die realen Inf ormationen mittels einer Sensorik, insbe- 
sondere mittels einer Bildauf nahmevbrrichtung erf afct werden, 
daS aus der realen Information ein Einsatzkontext , insbeson- 
dere ein Objekt der Dokumentationsdaten (II. ..In) ermittelt 
wird und da£ die ermittelten Dokumentationsdaten (II.. In) 
uber Visualisierungsmittel (B) visualisiert werden. 

9. Verfahren nach einem der Anspruche 6 bis 8, 
dadurch gekennzeichnet, 

daS die Erf assungsmittel (2) anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erf assungsmittel und/oder 
durch Steuerdaten gesteuerte Erf assungsmittel ausgebildet, 
sind. 
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10. Verfahren nach einem der Anspriiche 6 bis 9, 
d a d u r c h g e k e n n z e i ,c h n e t, 

daS die Erf assungsmittel (2) und/oder die Visualisierungsmit- 
5 tel als Datenbrille ausgebildet sind. 
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